场景一:快速查找数据
还不理解元数据管理?看看这几个场景应用
数据即资产的概念已被大多数人所接受,有效的数据治理是形成优质数据资产的必要条件,而元数据管理又是数据治理的基础。那么,元数据管理具体有哪些应用呢?本篇文章我们将通过一些具体场景来科普一波。
科普之前,有必要对元数据和元数据管理的概念继续加深理解。元数据(英语:metadata),又称诠释数据、中介数据、中继数据、后设数据等,为描述其他数据信息的数据。其使用目的在于:识别资源;评价资源;追踪资源在使用过程中的变化;实现简单高效地管理大量网络化数据;实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。
有一种说法,认为元数据几乎可以说是数据仓库乃至商业智能(BI)系统的“灵魂”,正是由于元数据在整个数据仓库生命周期中有着重要的地位,各个厂商的数据仓库解决方案都提到了关于对元数据的管理。下面我们带入具体场景来更加深入理解元数据管理。
1、传统办法耗时长
某企业部门销售经理老张在跟客户打交道时,对方提出想了解老张公司的某一项业务指标数据,由于不是老张自己熟悉的领域,这时候就需要从企业的海量数据中查找到该数据。
传统的操作办法是他先需要查找到该业务数据所属的业务系统,确定数据所在的功能模块,定位数据的所在业务应用,然后再进行业务数据含义解读、分析数据的信息。这种操作的确能够查找到数据的详细信息,但是耗时过长。尤其是当业务数据间互相关联时,每次查找需要找到关联的数据,若用以上的方式进行,则花费时间会无限延长,不仅浪费人力而且影响效率,对老张来说,可能还会影响他的销售业绩。
2、亿信平台内置搜索引擎
元数据管理是将描述业务数据的数据按照元数据类型采集存放在统一的数据仓库中,为数据提供检索点。正如图书卡片可以通过定位元数据来查询数据的相关信息,从而帮助读者快速找到所需要的书籍。所以简单来说,元数据使信息的描述和分类实现格式化规范化管理。
如果说元数据是数据的描述,那么元模型就是对元数据的描述,数据的建模过程中,将数据分成更小的、更简单的元素,通过多个模型之间的组合与依赖关系描述数据间复杂逻辑联系。有了这些定义和关联,检索某个数据就变得更加精准与快速,同时更加专业化。
亿信华辰的元数据管理平台内置全文搜索引擎,让各层次用户可快速定位自己所关心的元数据。该管理平台支持基于名称、基本属性、元数据间关系查找的同时,还支持全文搜索。通过多种组合条件的模糊查询,即可在整个元数据环境中随时检索所需元数据。
场景二:快速定位问题
1、无法实现快速定位
假如你是某业务部门经理,有一天,当你拿到公司的业务数据时,忽然发现有一些数据不太合乎逻辑甚至存在造假嫌疑,这时候就需要找出问题出在了哪个环节。而你的第一反应就是向相关业务部门反应,当然他们也响应了需求。但事实上一般的数据加工链往往比较长,数据之间类型不同,甚至属于不同的业务系统,问题排查起来耗费较多的人力与时间,效率低下。
2、元数据血缘分析实现定位和预测
那么,如何才能够快速的定位问题?毕竟只有向上寻找数据的来源,逐步排查数据问题并找到后才能“对症下药”。这时候就要用到元数据的血缘分析功能了。
血缘分析是指从某一实体出发,往回追溯其处理过程,直到数据源接口,可快速追溯数据来源和加工过程,影响分析可掌握元数据之间的相互关系。它可以提供字段级的数据,以图形化的方式展示数据链路的关系,逐步向上将分析的问题数据定位在特定的几张表的某些字段上,最后排查问题的所在。如此便简化了数据问题的分析,减少人力成本,一步定位问题所在。
对数据操作过程的分析不仅能快速定位问题,还能应用于预测数据的变化,与血缘分析类似,元数据系统提供了分析数据流向的功能,因此当前数据源发生变化时,数据图形的流向会分析与此数据源有联系的数据都有哪些变化。比如亿信元数据管理平台(EsPowerMeta)就提供了图形化的元数据基础分析以及高级应用分析。
场景三:快速采集所需元数据
随着大数据技术的崛起,企业的数据量正急剧增加,许多企业已经意识到元数据建设的重要性,但面对多样化甚至跨系统的业务数据,怎样才能够快速采集到所需的元数据呢?
对于不同样式的业务数据可以通过元数据来规范记录数据的信息,而对于不同库表的数据,需要将这些数据从不同的库表中取出。这时候很容易想到用适配器,通过不同的适配器采集不同库表中的数据。
那就不得不提亿信华辰的元数据管理系统,它完美地实现了数据的自动化采集,提供多种数据库适配器,实现元数据的管理、分析与采集,可以从Oracle、MySQL、SQL Server等数据库中采集数据,从excel文本中采集,并且还内置Hbase等分部署数据库采集适配器,可满足不同场景的业务需求。
小结:通过以上不同场景应用的具体描述,有木有觉得自己对元数据和元数据管理的概念升华了不少?古诗云纸上得来终觉浅,绝知此事要躬行,元数据丰富的功能和价值何止于此,这里只是简单描述几个主要场景的应用,期待你在更多的实践应用中发现亿信元数据管理更深的魅力!
数据治理往期文章推荐